Kekecewaan awal

Menguruskan Aberdeen pada Jun 1978, Ferguson menggantikan Billy McNeill yang bertugas selama semusim sebelum menyertai Celtic. Walaupun Aberdeen adalah antara kelab utama Scotland, namun mereka gagal memenangi gelaran liga sejak 1955. Bagaimanapun pemain bermain dengan baik, dan tidak pernah kalah dalam perlawanan liga sejak Disember dan menamatkan musim lepas di tangga kedua. Ferguson sudah menjadi pengurus selama empat tahun, dengan usia yang hanya beberapa tahun lebih tua daripada kebanyakan pemain dan beliau juga menghadapi masalah dalam menerbitkan rasa hormat daripada pemain yang lebih senior seperti Joe Harper. Musim itu agak kurang baik buat Aberdeen, yang mana mereka mara ke separuh akhir Piala FA Scotland dan final Piala Liga Scotland, namun tewas kedua-duanya dan menamatkan musim di tangga keempat.

Pada Disember 1979, mereka tewas pada final Piala Liga sekali lagi, kepada Dundee United dalam pertemuan ulangan. Ferguson mengakui bahawa beliau wajar dipersalahkan, dengan berkata beliau seharusnya membuat perubahan pada skuadnya pada perlawanan ulangan.

Kejayaan pertama

Aberdeen memulakan musim seterusnya dengan buruk namun prestasi mereka meningkat secara mendadak pada tahun baru dan mereka memenangi gelaran liga musim itu dengan kemenangan 5-0 pada hari terakhir liga. Ianya merupakan kali pertama dalam 15 tahun yang mana liga tidak dimenangi oleh sama ada Rangers ataupun Celtic. Ferguson menyatakan bahawa pada ketika itu beliau mula dihormati oleh semua pemainnya.

Aberdeen meneruskan kecemerlangan dengan memenangi Piala Scotland pada 1982, dan Ferguson ditawarkan jawatan pengurus di Wolverhampton Wanderers namun ditolaknya kerana kedudukan Wolves yang tidak stabil, selain daripada cita-citanya di Aberdeen yang masih belum tercapai hatta separuh pun.

Kejayaan peringkat Eropah

Kegemilangan terus dicapai pada musim seterusnya, 1982-83. Aberdeen layak ke Piala Pemenang UEFA setelah menjuarai Piala Scotland pada musim terdahulu, dan dengan bergaya menyingkirkan Bayern Munich yang sebelumnya menyingkirkan Tottenham Hotspur 4-1 pada pusingan terdahulu. Ia memberikan semangat kepada pasukan dan berjaya menewaskan Real Madrid 2-1 pada perlawanan akhir. Aberdeen juga turut bermain baik dalam liga, mempertahankan Piala Scotland setelah menewaskan Rangers 1-0.

Setelah bermula dengan sederhana pada musim 1983-84, prestasi Aberdeen meningkat dan mereka memenangi gelaran liga dan mempertahankan Piala Scotland. Ferguson dianugerahkan gelaran OBE pada tahun 1984, dan ditawarkan jawatan pengurus di Rangers, Arsenal dan Tottenham Hotspur. Aberdeen mempertahankan gelaran liga pada 1984-85, namun sekadar menduduki posisi keempat pada 1985-86 walaupun memenangi kedua-dua trofi domestik. Ferguson telah dilantik memasuki lembaga pengarah kelab pada awal 1986, namun pada April beliau memberitahu pengerusi kelab, Dick Donald tentang niatnya untuk meninggalkan kelab pada musim panas.

Ferguson adalah antara staf kejurulatihan Scotland ketika mereka melayakkan diri ke Piala Dunia FIFA 1986, namun pengurus pasukan Jock Stein rebah di padang dan meninggal dunia pada 10 September 1985 - selepas tamat perlawanan yang mana Scotland layak daripada kumpulan itu untuk perlawanan penentuan menentang Australia. Ferguson kemudiannya bersetuju untuk menguruskan pasukan menghadapi Australia dan seterusnya Piala Dunia. Untuk membantu tugas antarabangsanya beliau melantik Archie Knox sebagai pengurus bersama beliau di Aberdeen.

Pada ketika itu, Tottenham Hotspur menawarkan Ferguson tugas sebagai pengurus pasukan menggantikan Peter Shreeves, namun beliau menolak dan tugas tersebut diberikan kepada pengurus Luton Town, David Pleat. Begitu juga dengan tawaran daripada Arsenal untuk menggantikan Don Howe, yang mana beliau sekali lagi menolaknya dan tugas itu disandang oleh George Graham.

Musim panas itu, muncul spekulasi yang mengatakan Ferguson akan mengambil alih jawatan pengurus di Manchester United daripada Ron Atkinson, yang turun ke tangga keempat di Divisyen Satu Liga Inggeris setelah permulaan musim yang cemerlang. Walaupun Ferguson kekal di Aberdeen sepanjang musim panas, beliau akhirnya menyertai Manchester United setelah Atkinson dipecat pada November 1986.